

<!DOCTYPE html>
<html lang="zh" data-default-color-scheme=&#34;auto&#34;>



<head>
  <meta charset="UTF-8">
  <link rel="apple-touch-icon" sizes="76x76" href="/walker_sue/img/favicon.png">
  <link rel="icon" type="image/png" href="/walker_sue/img/favicon.png">
  <meta name="viewport"
        content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no, shrink-to-fit=no">
  <meta http-equiv="x-ua-compatible" content="ie=edge">
  
  <meta name="theme-color" content="#2f4154">
  <meta name="description" content="">
  <meta name="author" content="lk">
  <meta name="keywords" content="">
  <title>基于流行度的推荐 - Walker_Sue</title>

  <link  rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/4.4.1/css/bootstrap.min.css" />


  <link  rel="stylesheet" href="https://cdn.staticfile.org/github-markdown-css/4.0.0/github-markdown.min.css" />
  <link  rel="stylesheet" href="/walker_sue/lib/hint/hint.min.css" />

  
    
    
      
      <link  rel="stylesheet" href="https://cdn.staticfile.org/highlight.js/10.0.0/styles/github-gist.min.css" />
    
  

  


<!-- 主题依赖的图标库，不要自行修改 -->

<link rel="stylesheet" href="//at.alicdn.com/t/font_1749284_ba1fz6golrf.css">



<link rel="stylesheet" href="//at.alicdn.com/t/font_1736178_kmeydafke9r.css">


<link  rel="stylesheet" href="/walker_sue/css/main.css" />

<!-- 自定义样式保持在最底部 -->


  <script  src="/walker_sue/js/utils.js" ></script>
  <script  src="/walker_sue/js/color-schema.js" ></script>
<meta name="generator" content="Hexo 5.3.0"></head>


<body>
  <header style="height: 70vh;">
    <nav id="navbar" class="navbar fixed-top  navbar-expand-lg navbar-dark scrolling-navbar">
  <div class="container">
    <a class="navbar-brand"
       href="/walker_sue/">&nbsp;<strong>Walker</strong>&nbsp;</a>

    <button id="navbar-toggler-btn" class="navbar-toggler" type="button" data-toggle="collapse"
            data-target="#navbarSupportedContent"
            aria-controls="navbarSupportedContent" aria-expanded="false" aria-label="Toggle navigation">
      <div class="animated-icon"><span></span><span></span><span></span></div>
    </button>

    <!-- Collapsible content -->
    <div class="collapse navbar-collapse" id="navbarSupportedContent">
      <ul class="navbar-nav ml-auto text-center">
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/walker_sue/">
                <i class="iconfont icon-home-fill"></i>
                主页
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/walker_sue/archives/">
                <i class="iconfont icon-archive-fill"></i>
                归档
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/walker_sue/categories/">
                <i class="iconfont icon-category-fill"></i>
                分类
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/walker_sue/tags/">
                <i class="iconfont icon-tags-fill"></i>
                标签
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/walker_sue/about/">
                <i class="iconfont icon-user-fill"></i>
                关于
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item dropdown">
              <a class="nav-link dropdown-toggle" href="#" role="button" data-toggle="dropdown" aria-haspopup="true" aria-expanded="false">
                <i class="iconfont icon-books"></i>
                文档
              </a>
              <div class="dropdown-menu" aria-labelledby="navbarDropdown">
                
                  
                  
                  
                  <a class="dropdown-item" target="_blank" rel="noopener" href="https://hexo.fluid-dev.com/">
                    
                    主题博客
                  </a>
                
                  
                  
                  
                  <a class="dropdown-item" target="_blank" rel="noopener" href="https://hexo.fluid-dev.com/docs/guide/">
                    
                    配置指南
                  </a>
                
                  
                  
                  
                  <a class="dropdown-item" target="_blank" rel="noopener" href="https://hexo.fluid-dev.com/docs/icon/">
                    
                    图标用法
                  </a>
                
              </div>
            </li>
          
        
        
          <li class="nav-item" id="search-btn">
            <a class="nav-link" data-toggle="modal" data-target="#modalSearch">&nbsp;<i
                class="iconfont icon-search"></i>&nbsp;</a>
          </li>
        
        
          <li class="nav-item" id="color-toggle-btn">
            <a class="nav-link" href="javascript:">&nbsp;<i
                class="iconfont icon-dark" id="color-toggle-icon"></i>&nbsp;</a>
          </li>
        
      </ul>
    </div>
  </div>
</nav>

    <div class="banner intro-2" id="background" parallax=true
         style="background: url('/walker_sue/img/default.png') no-repeat center center;
           background-size: cover;">
      <div class="full-bg-img">
        <div class="mask flex-center" style="background-color: rgba(0, 0, 0, 0.3)">
          <div class="container page-header text-center fade-in-up">
    <span class="h2" id="subtitle">
    
</span>




<div class="mt-3">
  
  
    <span class="post-meta">
      <i class="iconfont icon-date-fill" aria-hidden="true"></i>
      <time datetime="2021-08-14 08:00" pubdate>
        August 14, 2021 am
      </time>
    </span>
  
</div>

<div class="mt-1">
  
    
    <span class="post-meta mr-2">
      <i class="iconfont icon-chart"></i>
      5.5k 字
    </span>
  

  
    
    <span class="post-meta mr-2">
      <i class="iconfont icon-clock-fill"></i>
      
      
      57
       分钟
    </span>
  

  
  
</div>


</div>

          
        </div>
      </div>
    </div>
  </header>

  <main>
    
      

<div class="container-fluid">
  <div class="row">
    <div class="d-none d-lg-block col-lg-2"></div>
    <div class="col-lg-8 nopadding-md">
      <div class="container nopadding-md" id="board-ctn">
        <div class="py-5" id="board">
          <article class="post-content mx-auto" id="post">
            <!-- SEO header -->
            <h1 style="display: none">基于流行度的推荐</h1>
            
            <div class="markdown-body" id="post-body">
              <div align='center' ><font size='10'>机器学习-BI</font></div>


<hr>
<div align='center' ><font size='5'>Week_23</font></div>
<div align='center' ><font size='5'>基于流行度的推荐</font></div>

<hr>
<h2 id="1-基于流行度的推荐"><a href="#1-基于流行度的推荐" class="headerlink" title="1.基于流行度的推荐"></a>1.基于流行度的推荐</h2><h3 id="1-1简介"><a href="#1-1简介" class="headerlink" title="1.1简介"></a>1.1简介</h3><p>什么是基于流行度的推荐？就是推荐模型的建立是围绕计算内容的流行度展开的，也就是说<strong>基于流行度推荐的核心就是计算内容的流行度</strong>。通熟讲就是什么内容流行度越高，就给用户推荐什么。本质上就是什么内容对用户吸引力高，就给用户推荐什么。那什么是流行度呢？也就是我们通常说的“<strong>热度</strong>”。我们在各个互联网产品中最常见到基于流行度推荐的形式就是某某榜TOP（N）。比如微博的热搜榜，酷我音乐排行榜，电商网站热搜榜、某某类商品销量排行榜等等都四处可见。当然这里我们需要注意，我们不能把基于流行度的推荐说成是TOP（N），TOP（N）是一种产品形式，而 流 行 度 推 荐 指 的 是 一 类 围 绕 流 行 度 计 算 而 产 生 的 推 荐 模 型 。 \color{red}流行度推荐指的是一类围绕流行度计算而产生的推荐模型。 流行度推荐指的是一类围绕流行度计算而产生的推荐模型。</p>
<h3 id="1-2影响流行度的因素"><a href="#1-2影响流行度的因素" class="headerlink" title="1.2影响流行度的因素"></a>1.2影响流行度的因素</h3><p>在物理上“热度”受时间和空间的限制，比如烧的炙红的铁块距离你10cm和10m感受到的热度是不同的，同样的距离你10分钟和10小时感受到的热度也是不同的。言归正传，我们看下在推荐中内容的热度是怎样受到时间和空间因素影响的。我们做推荐的目标是将相对于用户最好的内容推荐给用户，这里我们做一个假设，质量越好的内容，他的流行度就越高，通常我们是这么理解的。然而事实却不是这样的，内容质量虽然会很大程度上决定流行度，但是时间和空间才是流行度的幕后推手。</p>
<p>下面我们来说一下<strong>时间因素</strong>，时间因素我们分两方面看。首先，用户访问一个应用或服务，是有时间偏好的，这种时间偏好导致不同的应用或服务在时间维度有不同的“流量规律”。比如新闻类网站我们一般会集中在早晨和晚上时段查看，任何新闻投放在这一时段都会有比较好的关注度，我们不能说投放在中午的新闻就是质量差。其次，内容热度随着时间的推移是会发生衰减的。比如去年热卖的商品与今年销售的新品谁的质量高，我们也不能下定论。<strong>总结：内容的质量一定程度决定内容的热度，由于应用在时间维度的流量差异会导致内容流行度差异很大，内容热度在时间维度上的自然衰减也会导致流行度差异，所以我们考察流行度首先要限制时间因素，即：某一时间段的流行度。</strong></p>
<p>接着我们来说一下<strong>空间因素</strong>，空间因素我们分两方面看。首先，用户访问一个应用或服务，进入不同位置的用户多少是有常常都有隐含的差异，这就决定了，访问应用位置的流量是有差异的。比如新闻类网站我们一般会集中看首页首航有啥文章，任何文章投放在这一位置都会有比较好的关注度，我们不能说投放在犄角旮旯的文章就是质量差。其次，内容热度随着物理空间的迁移是而发生衰减的。比如美国人可能不会关心鹿晗和关晓彤谈恋爱，但是中国人会，所以在应用国际版上的某内容的流行度也会发生变化，当然其中也有政策差异的影响。<strong>总结：内容的质量一定程度决定内容的热度，由于应用在空间维度的流量差异会导致内容流行度差异很大，内容热度在空间维度上的自然衰减也会导致流行度差异，所以我们考察流行度首先要限制空间因素，即：某一位置的流行度。</strong></p>
<p>最后我们总结一下： 空 间 和 时 间 会 带 来 应 用 访 问 流 量 差 异 ， 间 接 影 响 了 特 定 内 容 的 流 行 度 ， 当 我 们 进 行 流 行 度 计 量 的 时 候 ， 要 限 定 时 间 和 空 间 维 度 ， 否 则 流 行 度 不 能 反 映 内 容 质 量 。 \color{red}空间和时间会带来应用访问流量差异，间接影响了特定内容的流行度，当我们进行流行度计量的时候，要限定时间和空间维度，否则流行度不能反映内容质量。 空间和时间会带来应用访问流量差异，间接影响了特定内容的流行度，当我们进行流行度计量的时候，要限定时间和空间维度，否则流行度不能反映内容质量。</p>
<h3 id="1-3流行度的度量"><a href="#1-3流行度的度量" class="headerlink" title="1.3流行度的度量"></a>1.3流行度的度量</h3><p>上面我们讨论了时间和空间因素对流行度计算的影响。所以我们在度量流行度的时候，要排除时间和空间的影响，这里我们就不能用某一指标的绝度数量来表示。我们知道时空因素影响流行度是通过流量密度来施加的，所以我们要用一个 相 对 值 （ 比 值 ） 或 某 种 可 能 性 （ 概 率 ） 来 度 量 流 行 度 ， 用 户 激 发 热 度 行 为 数 ／ 用 户 数 。 \color{red}相对值（比值）或某种可能性（概率）来度量流行度，用户激发热度行为数／用户数。 相对值（比值）或某种可能性（概率）来度量流行度，用户激发热度行为数／用户数。比如我们常说的点击率、购买率、阅读率、观看率等等，以下我们统称为点击率。然而，点击率本身虽然解决了一部分时间和位置偏差所带来的影响，但是点击率的估计所需要的数据依然会受到数据偏差的影响。因此，我们往往希望能够建立<strong>无偏差的数据</strong>（这也是一个热门的研究课题，有兴趣你可以了解一下：<a target="_blank" rel="noopener" href="https://blog.csdn.net/huchao_lingo/article/details/109922908?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control">数据驱动－重叠实验平台构建</a>，这里就不展开论述了）。这里我介绍一种常见的处理方式可以收集没有偏差的数据，就是将线上流量进行分桶，一个桶利用现在已有的对物品流行度的估计展示推荐结果内容，一个桶展示随机内容，这种方法是一种特殊的EE 算法（Exploitation &amp; Exploration），业界称之为“epsilon 贪心”（epsilon-Greedy）。 之后我们讨论的主题都是在无偏置的流量前提下。</p>
<h3 id="1-4流行度预估建模计算"><a href="#1-4流行度预估建模计算" class="headerlink" title="1.4流行度预估建模计算"></a>1.4流行度预估建模计算</h3><p>下面我说一种简单的<a target="_blank" rel="noopener" href="https://blog.csdn.net/weixin_43849871/article/details/111239756">CTR预估问题</a>建模思想。从数学角度讲点针对点击率的建模，其实就是把内容展示后是否被用户点击，看作一个“伯努利随机变量”，点击率预估就变成了对“伯努利分布参数估计”的问题，比如这时候我们可以用“极大似然估计”的方法，试着找到能最大限度解释当前数据的参数。我们利用最大似然法就可以求出在某一段时间内的点击率所代表的伯努利分布的参数估计。这个估计的数值就是某个物品当前的点击总数除以被显示的次数。通俗地讲，如果我们显示某个物品 10 次，被点击了 5 次，那么在最大似然估计的情况下，点击率的估计值就是 0.5。然而，这样的估计有一定的局限性。如果我们并没有显示当前的物品，那么最大似然估计的分母就是 0。如果当前的物品没有被点击过，那么分子就是 0。在这两种情况下，最大似然估计都无法真正体现出物品的流行度。我们从统计学的角度来讲了讲，如何利用最大似然估计法来对一个伯努利分布所代表的点击率的参数进行估计。这里面的第一个问题就是刚才我们提到的分子或者分母为0的情况。显然，这种情况下并不能很好地反应这些物品的真实属性。一种解决方案是对分子和分母设置“先验信息”。也就是说，虽然我们现在没有显示这个物品或者这个物品没有被点击，但是，我们“主观”地认为，比如说在显示 100 次的情况下，会有 60 次的点击。注意，这些显示次数和点击次数都还没有发生。在这样的先验概率的影响下，点击率的估计，或者说得更加精确一些，点击率的后验概率分布的均值，就成为了实际的点击加上先验的点击，除以实际的显示次数加上先验的显示次数。你可以看到，在有先验分布的情况下，这个比值永远不可能为0。当然，这也就避免了我们之前所说的用最大似然估计所带来的问题。利用先验信息来“平滑”（Smooth）概率的估计，是贝叶斯统计（Bayesian Statistics）中经常使用的方法。如果用更加精准的数学语言来表述这个过程，我们其实是为这个伯努利分布加上了一个 Beta 分布的先验概率，并且推导出了后验概率也是一个 Beta 分布。这个 Beta 分布参数的均值，就是我们刚才所说的均值。在实际操作中，并不是所有的分布都能够找到这样方便的先验分布，使得后验概率有一个解析解的形式。我们在这里就不展开讨论了。另外一个可以扩展的地方就是，到目前为止，我们对于流行度的估计都是针对某一个特定的时段。很明显，每个时段的估计和前面的时间是有一定关联的。这也就提醒我们是不是可以用之前的点击信息，来更加准确地估计现在这个时段的点击率。答案是可以的。当然，这里会有不同的方法。一种最简单的方法还是利用我们刚才所说的先验概率的思想。那就是，当前 T 时刻的点击和显示的先验数值是 T-1 时刻的某种变换。什么意思呢？比如早上 9 点到 10 点，某个物品有 40 次点击，100 次显示。那么 10 点到 11 点，我们在还没有显示的情况下，就可以认为这个物品会有 20 次点击，50 次显示。注意，我们把 9 点到 10 点的真实数据乘以 0.5 用于 10 点到 11 点的先验数据，这种做法是一种主观的做法。而且是否乘以 0.5 还是其他数值需要取决于测试。但是这种思想，有时候叫作“时间折扣”（Temporal Discount），是一种非常普遍的时序信息处理的手法。</p>
<h3 id="1-5从数据集中了解流行度的趋势"><a href="#1-5从数据集中了解流行度的趋势" class="headerlink" title="1.5从数据集中了解流行度的趋势"></a>1.5从数据集中了解流行度的趋势</h3><p><a target="_blank" rel="noopener" href="https://grouplens.org/datasets/movielens/">MovieLens数据集</a>存了用户对电影的评分。基于这个数据集，我们可以测试一些推荐算法、评分预测算法、流行度趋势。</p>
<p><img src="20201230213718928.png" srcset="/walker_sue/img/loading.gif"></p>
<p>从上图中我们可以看到，5分和1分所占比例很小，但对于系统来说价值最大<br>（Youtube中5分和1分的价值最大）</p>
<p><img src="20201230213810459.png" srcset="/walker_sue/img/loading.gif"></p>
<p>横坐标是流行度，纵坐标是数据集中所有电影评分。从上图中我们可以看到，高流行度的item所占比例很小，低流行度的item评分差异大（越不流行=&gt;自己的喜好来判断），高流行度的item评分差异小（越流行=&gt;群体的喜好影响力大）。</p>
<h3 id="1-6流行度与冷启动"><a href="#1-6流行度与冷启动" class="headerlink" title="1.6流行度与冷启动"></a>1.6流行度与冷启动</h3><p>推荐系统冷启动问题指的是新用户注册或者新物品入库，该怎么给新用户提供推荐服务让用户满意，怎么将新物品推荐出去，推荐给喜欢它的用户。</p>
<p>所以，冷启动包含用户冷启动和物品冷启动，下面分别描述怎么做用户和物品的冷启动，有哪些可行的策略。</p>
<p>用户冷启动：针对新用户，可行的推荐策略有如下几个：</p>
<ol>
<li>推荐热门物品或者必需品，这些物品往往是热点或者是购买最多的，比如视频推荐的新上映的大片，电商的畅销品，或者是生活必需品。</li>
<li>基于用户的信息来做推荐，如年龄，性别，地域等。这要求平台事先要知道用户的部分信息，这在某些行业是比较困难的，比如OTT端的视频推荐。</li>
<li>将库中的物品聚类，在给新用户推荐时，每个类别中推荐几个，总有一款是你喜欢的。</li>
<li>当用户有很少的行为记录时，这时很多算法（比如协同过滤）还无法给用户做推荐，这时可以采用基于内容的推荐算法。</li>
<li>当产品在拓展过程中，比如视频类应用，前期只做长视频推荐，后来拓展到短视频，那么对某些没有短视频观看行为的用户，怎么给他做短视频推荐呢？可以行的方式是借用迁移学习的思路，利用长视频观看历史，计算出用户的相似度，如果某个用户没有看短视频，但是跟他相似的用户看了很多短视频，这时可以将相似用户看过的短视频推荐给该用户。</li>
<li>事先构造选项，让用户选择自己的兴趣。</li>
<li>利用社交信息来做冷启动，特别是在有社交属性的产品中，将好友喜欢的物品推荐给新用户。</li>
</ol>
<p>物品冷启动：针对新上线的物品，可行的推荐策略有：</p>
<ol>
<li>基于物品的属性的推荐，一般新上线的物品或多或少都是有一些属性的，根据这些属性找到与该物品最相似的物品，这些相似的物品被哪些用户“消费”过，可以将该物品推荐给这些消费过的用户。</li>
<li>另外一种思路是借用强化学习中的exploration-exploitation思想，将该物品曝光给随机一组用户，观察用户对物品的反馈，找到对该物品有正向反馈(观看，购买，收藏，分享等)的用户, 后续将该物品推荐给与正向反馈相似的用户。</li>
</ol>
<p>冷启动从推荐系统最开始这个问题就一直存在，当用户行为信息不足时，采用非个性化推荐，我们通常可以使用流行度，即当下的潮流趋势。探究其算法本质，什么内容吸引用户，就给用户推荐什么内容。流行度需要有代表性和区分性，即不能太大众化或老少皆宜 =&gt; 无法区分用户的兴趣。另外还有一点就是多样性，用户兴趣的可能性很多，为了匹配兴趣的多样性 =&gt; 提供具有较高覆盖率的启动item集合（这些物品能覆盖主流的用户兴趣）。综合考虑这些因素，流行度才能发挥其作用。</p>
<h3 id="1-7流行度的进展"><a href="#1-7流行度的进展" class="headerlink" title="1.7流行度的进展"></a>1.7流行度的进展</h3><p>SIGIR 2018最佳论文：<a target="_blank" rel="noopener" href="http://ir.ii.uam.es/pubs/sigir2018.pdf">Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems</a></p>
<p>【论文摘要】在推荐系统的评估中使用IR方法论在近年来已成为惯例。然而，IR指标在推荐受欢迎条目的奖励算法中被发现有很强的偏见，相同的偏见在当前最佳的推荐算法中也出现了。近期的研究证实并测量了这种偏见，并提出了相应的方法来避免它们。问题仍然是开放性的：即流行度是不是一种需要避免的偏见；它在推荐系统中是不是一种有用的和可靠的信号；或者它是否可能由实验偏见带来不公平的奖励。我们通过识别和建模可以确定（关于关键随机变量之间的依赖关系，涉及条目评分、发现和相关性）答案的条件，在形式层次上解决了这个问题。我们发现了保证有效流行度（或恰好相反）的条件，和反映真实有效性的测量指标值的条件，或定量地从中推导出。我们通过经验结果证实了理论发现。我们构建了一个完全没有在常见的公共数据中存在的偏见的众包数据集，其中我们解释了在常见带偏见离线实验设置的准确率，和通过无偏见观察数据测量得到的真实准确率之间的矛盾。</p>
<p><img src="20201230215749644.png" srcset="/walker_sue/img/loading.gif"></p>
<p>M o v i e L e n s ， 公 开 数 据 集 ( 左 )   C r o w d s o u r c e d 100 k ， 众 包 数 据 集 ， 没 有 公 开 网 站 中 的 常 见 偏 见 ( 右 ) MovieLens，公开数据集(左) \ Crowdsourced 100k，众包数据集，没有公开网站中的常见偏见(右) MovieLens，公开数据集(左)Crowdsourced100k，众包数据集，没有公开网站中的常见偏见(右)</p>
<p><strong>论文结论：</strong></p>
<ol>
<li>马太效应=&gt;在Crowdsourced中没有MovieLens中明显</li>
<li>长尾理论=&gt;普遍存在。用户的小众需求加起来非常重要</li>
</ol>
<h4 id="1-7-1流行度-与个性化推荐"><a href="#1-7-1流行度-与个性化推荐" class="headerlink" title="1.7.1流行度 与个性化推荐"></a>1.7.1流行度 与个性化推荐</h4><ol>
<li>长尾理论，市场上冷门产品所占据的共同市场份额不低于热门产品所占据的市场份额。因为热门商品需求很高，但数量少。相反，单个冷门商品需求少，但数据量巨大</li>
<li>流行度较高的item，较少体现用户个性</li>
<li>流行度较低的item，更能代表用户个性（兴趣），计算用户相似度更准确<br> =&gt; 我们在计算相似度推荐的时候，可以推荐相似度高，但不流行的item</li>
</ol>
<h4 id="1-7-2流行度对于用户相似度的计算影响"><a href="#1-7-2流行度对于用户相似度的计算影响" class="headerlink" title="1.7.2流行度对于用户相似度的计算影响"></a>1.7.2流行度对于用户相似度的计算影响</h4><ul>
<li>用户之间是否相似，应该考虑共同item的流行度</li>
<li>avg_pop：平均流行度</li>
<li>item_pop(i)：item i的流行度</li>
<li>考虑流行度的影响，修正之后的相似度计算</li>
</ul>
<h4 id="1-7-3流行度对于推荐结果的影响"><a href="#1-7-3流行度对于推荐结果的影响" class="headerlink" title="1.7.3流行度对于推荐结果的影响"></a>1.7.3流行度对于推荐结果的影响</h4><p>假设邻居个数取为10，对于某个item A有5个邻居感兴趣，另外item B也有5个邻居感兴趣。此时item A的流行度 &gt;&gt; item B，该优先推荐哪个？推荐度不只与被反馈的次数有关，同样引入权重因子，考虑item流行度的影响。</p>
<blockquote>
<p>item_pop(i)：item i的流行度</p>
</blockquote>
<p>在进行TopN推荐的时候，既考虑反馈次数，也要考虑流行度的降权影响，即 num(i) * weigth_r(i)，然后进行TopN推荐。</p>
<h4 id="1-7-4流行度相关知识总结"><a href="#1-7-4流行度相关知识总结" class="headerlink" title="1.7.4流行度相关知识总结"></a>1.7.4流行度相关知识总结</h4><p>流行度是为了解决初期新用户刚注册时，用户信息不足，我们不能很好的提供推荐服务，从流行趋势里给热门推荐。<strong>解决冷启动和数据稀疏性是推荐系统的最大方向</strong>，一方面从推荐系统本身的特性出发。</p>
<p>Netflix研究表明，新用户在冷启动阶段更倾向于热门排行榜的，老用户会更加需要长尾推荐。</p>
<blockquote>
<p>1.对于新用户，采用非个性化推荐（基于流行度的推荐）<br>2. 对于老用户，可以考虑高流行度对商品推荐的降权影响，挖掘长尾</p>
</blockquote>
<p>另外需要考虑到不同网站的特性，不同的网站有不同的目标，要打算解决不同的问题。</p>
<ul>
<li>电商网站，比如唯品会特卖，目标是打造爆款</li>
<li>婚恋网站，比如世纪佳缘，目标是让更多人活跃起来</li>
</ul>
<h4 id="1-7-5流行度的脆弱性"><a href="#1-7-5流行度的脆弱性" class="headerlink" title="1.7.5流行度的脆弱性"></a>1.7.5流行度的脆弱性</h4><p>只要有利益，就会有作弊的可能性<br>协同过滤的原理是挖掘相似的用户，通过他们的行为进行推荐。<br>是否会存在：虚假恶意的行为，故意增加或者压制某些item被推荐的可能性</p>
<h4 id="1-7-6SEO优化或者降权"><a href="#1-7-6SEO优化或者降权" class="headerlink" title="1.7.6SEO优化或者降权"></a>1.7.6SEO优化或者降权</h4><p><strong>推荐系统的效果评估</strong></p>
<blockquote>
<p>评价的指标包括了精准率，多样性，新颖度，覆盖率。需要结合具体的目标来进行使用 基于流行度的推荐 =&gt; 信息茧房</p>
</blockquote>
<h2 id="2-推荐系统架构"><a href="#2-推荐系统架构" class="headerlink" title="2.推荐系统架构"></a>2.推荐系统架构</h2><p>在线部分，召回阶段将100万的item=&gt;1000，item太多还可以进行粗排。排序阶段使用相对复杂的模型对较少的item进行排序。在呈现给用户前，还会集合一些业务策略（去掉用户已读，商业化广告）</p>
<p>近线部分，实时收集用户行为反馈，并选择训练实例，抽取特征=&gt;更新在线推荐模型</p>
<p>离线部分，整理离线训练数据 =&gt; 周期性更新推荐模型<br><img src="20201230221945193.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230221957674.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230222007934.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230222025419.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230222045487.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230222056711.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230222117796.png" srcset="/walker_sue/img/loading.gif"></p>
<p><img src="20201230222129955.png" srcset="/walker_sue/img/loading.gif"></p>
<h2 id="参考资料"><a href="#参考资料" class="headerlink" title="参考资料"></a>参考资料</h2><ol>
<li><a target="_blank" rel="noopener" href="https://www.dazhuanlan.com/2020/01/17/5e21667840b6a/">MovieLens数据集介绍</a></li>
</ol>

            </div>
            <hr>
            <div>
              <div class="post-metas mb-3">
                
                  <div class="post-meta mr-3">
                    <i class="iconfont icon-category"></i>
                    
                      <a class="hover-with-bg" href="/walker_sue/categories/BI/">BI</a>
                    
                      <a class="hover-with-bg" href="/walker_sue/categories/BI/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">机器学习</a>
                    
                      <a class="hover-with-bg" href="/walker_sue/categories/BI/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/%E6%8E%A8%E8%8D%90%E7%AE%97%E6%B3%95/">推荐算法</a>
                    
                  </div>
                
                
                  <div class="post-meta">
                    <i class="iconfont icon-tags"></i>
                    
                      <a class="hover-with-bg" href="/walker_sue/tags/BI/">BI</a>
                    
                      <a class="hover-with-bg" href="/walker_sue/tags/%E6%8E%A8%E8%8D%90%E7%AE%97%E6%B3%95/">推荐算法</a>
                    
                      <a class="hover-with-bg" href="/walker_sue/tags/%E6%B5%81%E8%A1%8C%E5%BA%A6/">流行度</a>
                    
                  </div>
                
              </div>
              
                <p class="note note-warning">本博客所有文章除特别声明外，均采用 <a target="_blank" href="https://creativecommons.org/licenses/by-sa/4.0/deed.zh" rel="nofollow noopener noopener">CC BY-SA 4.0 协议</a> ，转载请注明出处！</p>
              
              
                <div class="post-prevnext row">
                  <article class="post-prev col-6">
                    
                    
                  </article>
                  <article class="post-next col-6">
                    
                    
                      <a href="/walker_sue/2021/08/07/week22-LSH/">
                        <span class="hidden-mobile">LSH近似最近邻查找</span>
                        <span class="visible-mobile">Nächster</span>
                        <i class="iconfont icon-arrowright"></i>
                      </a>
                    
                  </article>
                </div>
              
            </div>

            
          </article>
        </div>
      </div>
    </div>
    
      <div class="d-none d-lg-block col-lg-2 toc-container" id="toc-ctn">
        <div id="toc">
  <p class="toc-header"><i class="iconfont icon-list"></i>&nbsp;TOC</p>
  <div id="tocbot"></div>
</div>

      </div>
    
  </div>
</div>

<!-- Custom -->


    
  </main>

  
    <a id="scroll-top-button" href="#" role="button">
      <i class="iconfont icon-arrowup" aria-hidden="true"></i>
    </a>
  

  
    <div class="modal fade" id="modalSearch" tabindex="-1" role="dialog" aria-labelledby="ModalLabel"
     aria-hidden="true">
  <div class="modal-dialog modal-dialog-scrollable modal-lg" role="document">
    <div class="modal-content">
      <div class="modal-header text-center">
        <h4 class="modal-title w-100 font-weight-bold">Suchen</h4>
        <button type="button" id="local-search-close" class="close" data-dismiss="modal" aria-label="Close">
          <span aria-hidden="true">&times;</span>
        </button>
      </div>
      <div class="modal-body mx-3">
        <div class="md-form mb-5">
          <input type="text" id="local-search-input" class="form-control validate">
          <label data-error="x" data-success="v"
                 for="local-search-input">Stichwort</label>
        </div>
        <div class="list-group" id="local-search-result"></div>
      </div>
    </div>
  </div>
</div>
  

  

  <footer class="text-center mt-5 py-3">
  <div class="footer-content">
     <a href="https://hexo.io" target="_blank" rel="nofollow noopener"><span>Hexo</span></a> <i class="iconfont icon-love"></i> <a href="https://github.com/fluid-dev/hexo-theme-fluid" target="_blank" rel="nofollow noopener"><span>Fluid</span></a> 
  </div>
  

  

  
</footer>

<!-- SCRIPTS -->
<script  src="https://cdn.staticfile.org/jquery/3.4.1/jquery.min.js" ></script>
<script  src="https://cdn.staticfile.org/twitter-bootstrap/4.4.1/js/bootstrap.min.js" ></script>
<script  src="/walker_sue/js/debouncer.js" ></script>
<script  src="/walker_sue/js/main.js" ></script>

<!-- Plugins -->


  
    <script  src="/walker_sue/js/lazyload.js" ></script>
  



  



  <script defer src="https://cdn.staticfile.org/clipboard.js/2.0.6/clipboard.min.js" ></script>
  <script  src="/walker_sue/js/clipboard-use.js" ></script>







  <script  src="https://cdn.staticfile.org/tocbot/4.11.1/tocbot.min.js" ></script>
  <script>
    $(document).ready(function () {
      var boardCtn = $('#board-ctn');
      var boardTop = boardCtn.offset().top;

      tocbot.init({
        tocSelector: '#tocbot',
        contentSelector: '#post-body',
        headingSelector: 'h1,h2,h3,h4,h5,h6',
        linkClass: 'tocbot-link',
        activeLinkClass: 'tocbot-active-link',
        listClass: 'tocbot-list',
        isCollapsedClass: 'tocbot-is-collapsed',
        collapsibleClass: 'tocbot-is-collapsible',
        collapseDepth: 0,
        scrollSmooth: true,
        headingsOffset: -boardTop
      });
      if ($('.toc-list-item').length > 0) {
        $('#toc').css('visibility', 'visible');
      }
    });
  </script>



  <script  src="https://cdn.staticfile.org/typed.js/2.0.11/typed.min.js" ></script>
  <script>
    function typing(id, title){
        var typed = new Typed('#' + id, {
            strings: [
              '  ',
              title + "&nbsp;",
            ],
            cursorChar: "_",
            typeSpeed: 70,
            loop: false,
        });
        typed.stop();
        $(document).ready(function () {
            $(".typed-cursor").addClass("h2");
            typed.start();
        });
    }
    
        typing("subtitle", "基于流行度的推荐")
    
  </script>


  <script  src="https://cdn.staticfile.org/anchor-js/4.2.2/anchor.min.js" ></script>
  <script>
    anchors.options = {
      placement: "right",
      visible: "hover",
      
    };
    var el = "h1,h2,h3,h4,h5,h6".split(",");
    var res = [];
    for (item of el) {
      res.push(".markdown-body > " + item)
    }
    anchors.add(res.join(", "))
  </script>



  <script  src="/walker_sue/js/local-search.js" ></script>
  <script>
    var path = "/walker_sue/local-search.xml";
    var inputArea = document.querySelector("#local-search-input");
    inputArea.onclick = function () {
      searchFunc(path, 'local-search-input', 'local-search-result');
      this.onclick = null
    }
  </script>



  <script  src="https://cdn.staticfile.org/fancybox/3.5.7/jquery.fancybox.min.js" ></script>
  <link  rel="stylesheet" href="https://cdn.staticfile.org/fancybox/3.5.7/jquery.fancybox.min.css" />

  <script>
    $('#post img:not(.no-zoom img, img[no-zoom]), img[zoom]').each(
      function () {
        var element = document.createElement('a');
        $(element).attr('data-fancybox', 'images');
        $(element).attr('href', $(this).attr('src'));
        $(this).wrap(element);
      }
    );
  </script>





  

  
    <!-- MathJax -->
    <script>
      MathJax = {
        tex: {
          inlineMath: [['$', '$'], ['\\(', '\\)']]
        },
        options: {
          renderActions: {
            findScript: [10, doc => {
              document.querySelectorAll('script[type^="math/tex"]').forEach(node => {
                const display = !!node.type.match(/; *mode=display/);
                const math = new doc.options.MathItem(node.textContent, doc.inputJax[0], display);
                const text = document.createTextNode('');
                node.parentNode.replaceChild(text, node);
                math.start = { node: text, delim: '', n: 0 };
                math.end = { node: text, delim: '', n: 0 };
                doc.math.push(math);
              });
            }, '', false],
            insertedScript: [200, () => {
              document.querySelectorAll('mjx-container').forEach(node => {
                let target = node.parentNode;
                if (target.nodeName.toLowerCase() === 'li') {
                  target.parentNode.classList.add('has-jax');
                }
              });
            }, '', false]
          }
        }
      };
    </script>

    <script async src="https://cdn.staticfile.org/mathjax/3.0.5/es5/tex-svg.js" ></script>

  











</body>
</html>
